Oorspronkelijk bestond het kasteel in de 12de eeuw enkel uit een versterkte houten toren, die later uit steen werd gebouwd. Deze toren bevond zich op de plaats van het huidige voorterras en diende als uitkijkpost en voorhoede voor de andere heerlijkheden in de omgeving, tot op het ogenblik dat de heren van Perk zich hier kwamen vestigen en het kasteel gingen uitbreiden.
Het kasteel wordt gerekend onder de mooiste heerlijkheden in de omgeving van Brussel. Het telt meer dan 200 kamers en werd in de loop der tijden herhaaldelijk aangepast aan de noden van de toenmalige bewoners.
Het huidige kasteel dateert deels uit de 17de en deels uit de 18de eeuw en is herbouwd in de 19de eeuw. Gedurende de Franse overheersing in 1809 werd Perk aangekocht door Pieter Bounder van Melsbroek, een Frans officier. Deze verkocht zijn goederen in 1833 aan Graaf Prosper Christyn de Ribaucourt, die senator was voor Dendermonde.
Het kasteel heeft, in de loop der tijd, heel wat belangrijke bezoekers gekregen. In 1696 nam de prins van Nassau-Saarbrück, generaal der legers van de Verenigde Provinciën er zijn intrek. Op 9 mei 1746 logeerde hier Lodewijk XV, koning van Frankrijk, die enige dagen tevoren te Brussel zijn triomfantelijke intrede had gehouden. Veldmaarschalk Montgommery bracht er een bezoek aan generaal Dempsey, die van hieruit de slag rond Arnhem leidde in de Tweede Wereldoorlog.
Het kasteel wordt nog altijd bewoond door de nazaten van graaf de Ribaucourt.